花费 5 ms
idea打包Spark 找不到主类

1. 用idea的maven项目 package 打包, 去 Linux 执行 遇到 找不到主类 , 这时候需要更加稳定的打包方式 去打包 scala ,两条横线中间部分就是我用来打包 ...

Sun Jun 14 19:16:00 CST 2020 0 1434
Spark 获取指定分区内的数据

K:有什么用? 内存不足可以用. 1.上代码 我是1-10分为3个分区 , 并取出下标号为0 的分区的数据 ,然后Type ,要想获得自己想要的分区 , 执行 这里返回的是新 ...

Sat May 23 04:44:00 CST 2020 0 1199
Spark 读取Hadoop集群文件

1. 原因:   一般hadoop 集群是两个或多个NameNode , 但是一个处于standby , 另一个active , 通过设置可以忽略不确定谁是active的情况 2. im ...

Thu Jun 25 05:31:00 CST 2020 0 1099

 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM